Lunes por la mañana, el tablero está en verde. El nuevo botón de pago, la variante B, "convirtió 12% mejor" durante el fin de semana. Alguien quiere lanzarla a todos y ponerla en las diapositivas del trimestre. Antes de que nadie lo haga, un analista de marketing hace cuatro preguntas tranquilas. ¿Cuántas personas vieron realmente cada botón? ¿Podría aparecer una mejora de este tamaño aunque los dos botones fueran idénticos? ¿Quiénes estaban en la prueba y quiénes faltaban? Y "conversión", ¿sigue siendo lo que la empresa quiere, o solo lo que cuenta?
Esas cuatro preguntas son la mayor parte de esta materia. La investigación de mercados es el oficio de averiguar qué piensan, quieren y hacen los clientes sin engañarte por el camino. Está entre la estadística y la psicología, y es el curso donde la estadística que aprendiste se topa con personas que no se comportan como monedas al aire: malentienden tu pregunta, no contestan tu encuesta y cambian lo que hacen cuando saben que las miden.
Una pregunta de encuesta no es una ventana a lo que la gente piensa. Es un empujón, y la gente contesta la pregunta que oye. Una demostración famosa: Elizabeth Loftus y John Palmer mostraron en 1974 películas de choques de autos y preguntaron a qué velocidad iban los autos cuando "se estrellaron" uno contra otro. A otros grupos les dijeron "chocaron" o "se tocaron". Mientras más violento el verbo, más rápido dijeron que iban. La redacción no cambió la película. Cambió el recuerdo que reportaron.
Los investigadores tienen una lista corta de maneras en que una pregunta sale mal. Una pregunta tendenciosa cuela la respuesta ("¿Qué tan satisfecho estás con nuestro excelente servicio?"). Una pregunta doble pregunta dos cosas a la vez, y un "no" no se puede interpretar ("¿El precio y la calidad son buenos?"). Un conjunto de opciones cargado tiene más opciones positivas que negativas. Y una pregunta hipotética ("¿Lo comprarías?") invita a un sí alegre que las carteras reales rara vez cumplen. El remedio es aburrido y confiable: pregunta lo que la gente hizo (la última compra, la última semana), una cosa a la vez, con opciones equilibradas y en palabras sencillas, y prueba el borrador con cinco personas antes de enviarlo a cinco mil.
En español hay un cuidado más. Si la encuesta va a varios países, pruébala en cada uno: la misma palabra puede designar cosas distintas o sonar rara (la fruta que en México es aguacate en Chile es palta, como verás en Dirección de marketing, 34/45). Una pregunta no se "traduce" una vez para todos.
Cuatro pares. Toca la redacción que enviaría un investigador cuidadoso.
Las encuestas solo pueden medir lo que ya se te ocurrió preguntar. Antes de contar nada, escuchas: entrevistas individuales, mirar cómo alguien usa el producto, un grupo de enfoque, un diario de uso. Eso es investigación cualitativa. Da palabras, no porcentajes, y su trabajo es encontrar las preguntas que valen la pena en la encuesta y las hipótesis que valen la pena probar. Una panadería que "sabe" que los clientes quieren pan más barato puede oír en tres entrevistas que el verdadero problema es que el pan se pone duro el martes.
¿Cuántas personas bastan? Los investigadores de usabilidad lo modelan de forma sencilla: si cada persona de prueba se topa de manera independiente con un problema dado con probabilidad p, entonces n personas encuentran una parte 1 − (1 − p)n de los problemas. El artículo de Jakob Nielsen y Thomas Landauer de 1993 puso la p promedio cerca de 0.31 para problemas de usabilidad, de donde sale la famosa regla de que "cinco usuarios encuentran cerca de 85% de los problemas". Tómala como una regla práctica para problemas evidentes de un producto, no como una ley: los problemas raros y los distintos tipos de usuario necesitan más personas, y la voz más fuerte de un grupo de enfoque puede tapar a las demás.
Un modelo, no una medición. 0.31 es el promedio que reportaron Nielsen y Landauer; tu producto y tus usuarios serán distintos.
No puedes preguntarle a todo el mundo, así que preguntas a unos pocos y deduces el resto. Una muestra verdaderamente aleatoria de n personas da una estimación de una proporción que se equivoca más o menos por esta cantidad, 19 de cada 20 veces:
Para n = 1,000 y p = 0.5 son ±3.1 puntos. Cuadruplica la muestra a 4,000 y el margen solo se reduce a la mitad, ±1.5, porque n está bajo una raíz cuadrada. Por eso las encuestas nacionales se detienen alrededor de mil: después de eso, el dinero compra poco.
La fórmula esconde una trampa. Supone que la muestra es aleatoria: que todos tuvieron la misma probabilidad de entrar en ella y de contestar. Cuando eso falla, una n mayor solo te hace estar más seguro del número equivocado. En 1936 la revista Literary Digest envió por correo unas 10 millones de papeletas y le regresaron unas 2.38 millones, una muestra enorme, y predijo que Alf Landon vencería a Franklin Roosevelt con cerca de 57% del voto. Roosevelt ganó con 60.8%. Las listas venían de sus propios lectores, dueños de autos y suscriptores de teléfono, que en la Gran Depresión eran más ricos que el promedio, y estudios posteriores señalaron la falta de respuesta como la causa principal del tamaño del error: los enojados con Roosevelt devolvían su papeleta con más frecuencia.
En nuestra región hay un caso reciente. El 2 de octubre de 2016, Colombia votó en un plebiscito sobre el acuerdo de paz con las FARC. Las últimas encuestas publicadas, entre el 20 y el 27 de septiembre, daban ventaja al Sí: Invamer Gallup 67.6% contra 32.4% (margen de error declarado de 5 puntos), Ipsos Napoleón Franco 66% contra 34% (3.5), Cifras & Conceptos 62% contra 38% (3.8) y Datexco 55% contra 36.6%, con 8.4% de indecisos (2.1). El resultado fue 49.8% para el Sí y 50.2% para el No, con una participación de cerca de 37.4% de los inscritos. Un error de entre 10 y 18 puntos no cabe en márgenes de 2 a 5 puntos: difícilmente salió del azar del muestreo, y apunta más bien a sesgos (quién contesta, quién finalmente vota) y a cambios de último momento. Lo que muestra el caso es lo que dice la fórmula: el margen de error solo describe el ruido del muestreo.
Hay otra limitación, sobre todo en la región: las encuestas en línea dejan fuera a quien no usa internet. Según el Banco Mundial, en 2024 usaban internet alrededor de 96% de la población en España (95.8%) y en Chile (95.6%), 83% en México (83.1%), 79% en Colombia (79.3%), 60% en Guatemala (60.2%) y 59% en Honduras (58.6%). En Honduras, una encuesta solo en línea deja fuera a cuatro de cada diez personas, y es poco probable que esas personas piensen igual que las demás.
Cada barra es el intervalo del 95% de un sondeo. La línea punteada es la verdad. Simulación ilustrativa, no datos reales.
Sin sesgo y con 257 encuestados, unas 37 de las 40 barras cubren la verdad. Sube la muestra a 3,000 con un sesgo de respuesta de 1.4 y las barras se vuelven estrechas y ninguna cubre la verdad. La precisión y la exactitud son cosas distintas: el tamaño de la muestra cura el ruido, nunca el sesgo.
Una prueba A/B muestra la versión A a una mitad aleatoria de los visitantes y la versión B a la otra mitad, y pregunta si la diferencia de conversión es más que azar. Aleatorizar es lo que la hace un experimento de verdad: cualquier otra diferencia entre los grupos es casualidad, así que la diferencia en el resultado se puede atribuir al cambio. El estadístico de prueba es una puntuación z: la diferencia observada dividida entre el tamaño típico que tendría por puro ruido. Pasado ±1.96, una diferencia así de grande ocurriría por azar cerca de 1 vez de cada 20 si las versiones fueran idénticas (p < 0.05).
Fíjate en lo que significa "1 de cada 20". Si haces 20 pruebas de cambios que no hacen nada, esperas que una "gane". Ahora agrega el error común, espiar: miras el tablero todos los días y detienes la prueba en cuanto sale significativa. Cada vistazo es otra oportunidad para que el azar cruce la línea, y la tasa de falsas alarmas sube muy por encima de 5%. Los estadísticos lo saben desde el análisis secuencial de la década de 1940; los libros de experimentación en línea todavía lo ponen como el error número uno. Haz abajo una prueba A/A (dos versiones idénticas) y mira.
Cada experimento simula visitantes reales con un generador aleatorio con semilla, y luego aplica una prueba z de dos colas al 5%. Simulación ilustrativa.
Con versiones idénticas y un solo vistazo, cerca de 5% se marca: esa es la promesa. Con diez vistazos, se marcan unas 18%. Y con una mejora real de 10% sobre una base de 5% y 2,000 visitantes por versión, la mayoría de las pruebas no detecta el efecto real: las muestras pequeñas tienen poca potencia. La buena práctica es decidir el tamaño de muestra de antemano a partir de la mejora más pequeña que valga la pena, correr hasta ese tamaño y leer una sola vez; o usar un método diseñado para vigilar de forma continua.
Pregunta "¿cuáles de estas funciones te importan?" y todos dicen que todas, sobre todo el precio bajo. Las decisiones reales son disyuntivas, así que el análisis conjunto (conjoint) las obliga a aparecer. Describes los productos como paquetes de atributos (precio, duración de la batería, resistencia al agua), muestras muchos paquetes a las personas y les pides que los califiquen o que elijan entre ellos. Como los paquetes varían de manera planeada, un poco de aritmética saca cuánto aportó cada nivel al gusto: su utilidad parcial. El método viene de la psicología matemática (Luce y Tukey, 1964) y llegó al marketing en la década de 1970. La versión actual suele mostrar pares o tríos y pedir que elijas uno, pero la lógica es la misma.
Abajo, una persona inventada calificó de 0 a 10 ocho linternas recargables. Dos precios, dos duraciones de batería, impermeable o no: las ocho combinaciones, lo que hace el diseño equilibrado, de modo que cada utilidad parcial es simplemente la calificación promedio cuando un atributo está en un nivel menos el promedio cuando está en el otro. La razón entre el efecto de una característica y el efecto del precio la convierte en dólares.
Mueve los controles a tu gusto. Importancia = rango del efecto de un atributo ÷ suma de los rangos. Valor en dólares = efecto de la característica ÷ (efecto del precio por dólar). Ilustrativo, solo ocho perfiles.
Prueba el "amante de las funciones": los valores en dólares salen muy por encima del rango de precios probado. Esa es la advertencia clásica: el análisis conjunto funciona dentro del rango que probaste y se estira mal fuera de él. Además mide elecciones declaradas; no sabe qué pasa en un estante lleno, así que los estudios serios lo comparan con ventas reales.
"El cliente" es una ficción. Un gimnasio tiene a los madrugadores constantes y a los que llegan en enero; un supermercado tiene a las familias que llenan el carrito y a los que solo pasan a la hora de comer. La segmentación divide un mercado en grupos que responden de manera parecida, para poder atender a cada uno de otro modo. Cuando tienes datos de comportamiento, un método estándar es el agrupamiento k-medias: eliges k, sueltas k centros al azar, asignas a cada cliente al centro más cercano, mueves cada centro al promedio de sus clientes, y repites hasta que nada se mueva. (Un ejemplo hecho en México con otro método es el índice de Niveles Socioeconómicos de la AMAI, descrito en Dirección de marketing, 34/45.)
Dos cosas para recordar. Primero, tú eliges k, y los datos siempre te darán k grupos, sean reales o no. La revisión honesta es el "codo": qué tanto se aprietan los grupos al subir k. Segundo, el resultado depende de dónde empiezan los centros; un mal arranque puede asentarse en una división peor. El algoritmo encuentra agrupamientos; una persona debe decidir si significan algo y darles nombres como "cazadores de ofertas" sobre los que una campaña pueda actuar.
90 clientes inventados. Horizontal: visitas por mes. Vertical: gasto por visita. Dispersión (inercia) = suma de las distancias al cuadrado de cada punto al centro de su grupo.
Un tablero convierte un negocio desordenado en unos cuantos números, y luego la gente se guía por ellos. En 1975 el economista británico Charles Goodhart notó que una regularidad estadística tiende a derrumbarse cuando se le presiona para controlarla. La antropóloga Marilyn Strathern lo dijo en 1997 de la forma que todos citan: cuando una medida se convierte en una meta, deja de ser una buena medida. El propio Goodhart dijo después que lo había dicho como un comentario al pasar.
La versión de marketing está en todas partes. Premia a un equipo por clics y los titulares se vuelven más tentadores y menos honestos. Premia al personal de un banco por cuentas abiertas y, en el caso mejor documentado, abren cuentas que nadie pidió: en septiembre de 2016 los reguladores de EE.UU. anunciaron multas por 185 millones de dólares contra Wells Fargo, después de que su propio análisis encontró que sus empleados pudieron haber abierto más de dos millones de cuentas de depósito y tarjetas de crédito sin autorización, para cumplir metas de ventas y ganar bonos. La medida, cuentas por cliente, se había vuelto la meta.
La defensa es un hábito, no una fórmula: acompaña cada métrica con otra que no se falsee con facilidad (clics con compras, compras con devoluciones y quejas), mira la distribución además del promedio, y pregúntate qué harías para cumplir ese número si no te importara el cliente.
Un modelo estilizado: los titulares de curiosidad suben los clics (1,000 × (1 + 1.5x)) pero la parte de quienes hacen clic y compran baja (6% × (1 − 0.85x²)), con x la presión de 0 a 1. Lo que importa es la forma, no los números.
La evidencia se fabrica, no se encuentra. La redacción de la pregunta, la forma en que se sacó la muestra, las veces que miraste y la meta que fijaste le dan forma al número antes de que lo veas. La verdadera habilidad de un analista de marketing es preguntarse, con calma y antes de la reunión, cómo cada una de esas cosas le dio forma a este.
Prueba esto: la próxima vez que veas una encuesta, una calificación o un "subió 12%", busca tres cosas: cuántas personas, cómo se las eligió y qué se preguntó o contó exactamente. Si no las encuentras, trata el número como decoración.
Fuentes. El margen de error, las pruebas z, la simulación A/B y k-medias son estadística estándar, calculados aquí y revisados en código. Loftus y Palmer, "Reconstruction of automobile destruction", Journal of Verbal Learning and Verbal Behavior (1974). Nielsen y Landauer, "A mathematical model of the finding of usability problems", INTERCHI 1993. Las cifras de Literary Digest (1936) son del artículo de Wikipedia sobre la revista, que resume análisis posteriores. Plebiscito de Colombia del 2 de octubre de 2016: resultados de la Registraduría Nacional (Sí 49.78%, No 50.21%; participación 37.43%) y tabla de encuestas publicadas (Invamer Gallup 20/09, Cifras & Conceptos 23/09 y 27/09, Datexco 27/09, Ipsos Napoleón Franco 27/09), tal como las recoge Wikipedia en español, "Plebiscito sobre el acuerdo de paz de Colombia de 2016". Uso de internet: Banco Mundial, indicador IT.NET.USER.ZS (2024), API consultada en noviembre de 2026. Luce y Tukey, "Simultaneous conjoint measurement", Journal of Mathematical Psychology (1964). Goodhart (1975) y Strathern, "'Improving ratings': audit in the British University system", European Review 5(3), 1997. Wells Fargo: comunicado de la Oficina para la Protección Financiera del Consumidor (CFPB) de EE.UU. del 8 de septiembre de 2016 (multa de 100 millones de dólares de la CFPB dentro de un total de 185 millones con otros reguladores), según el resumen de Wikipedia, "Wells Fargo cross-selling scandal". Todos los conjuntos de datos de los interactivos son inventados para ilustrar.